A Bayesian Hyperprior Approach for Joint Image Denoising and Interpolation, with an Application to HDR Imaging

Recently, impressive denoising results have been achieved by Bayesian approaches which assume Gaussian models for the image patches. This improvement in performance can be attributed to the use of per-patch models. Unfortunately such an approach is particularly unstable for most inverse problems beyond denoising. In this work, we propose the use of a hyperprior to model image patches, in order to stabilize the estimation procedure. There are two main advantages to the proposed restoration scheme: Firstly it is adapted to diagonal degradation matrices, and in particular to missing data problems (e.g. inpainting of missing pixels or zooming). Secondly it can deal with signal dependent noise models, particularly suited to digital cameras. As such, the scheme is especially adapted to computational photography. In order to illustrate this point, we provide an application to high dynamic range imaging from a single image taken with a modified sensor, which shows the effectiveness of the proposed scheme.Comment: Some figures are reduced to comply with arxiv's size constraints. Full size images are available as HAL technical report hal-01107519v5, IEEE Transactions on Computational Imaging, 201

Deep Model-Based Super-Resolution with Non-uniform Blur

We propose a state-of-the-art method for super-resolution with non-uniform blur. Single-image super-resolution methods seek to restore a high-resolution image from blurred, subsampled, and noisy measurements. Despite their impressive performance, existing techniques usually assume a uniform blur kernel. Hence, these techniques do not generalize well to the more general case of non-uniform blur. Instead, in this paper, we address the more realistic and computationally challenging case of spatially-varying blur. To this end, we first propose a fast deep plug-and-play algorithm, based on linearized ADMM splitting techniques, which can solve the super-resolution problem with spatially-varying blur. Second, we unfold our iterative algorithm into a single network and train it end-to-end. In this way, we overcome the intricacy of manually tuning the parameters involved in the optimization scheme. Our algorithm presents remarkable performance and generalizes well after a single training to a large family of spatially-varying blur kernels, noise levels and scale factors

Solving Inverse Problems by Joint Posterior Maximization with Autoencoding Prior

In this work we address the problem of solving ill-posed inverse problems in imaging where the prior is a variational autoencoder (VAE). Specifically we consider the decoupled case where the prior is trained once and can be reused for many different log-concave degradation models without retraining. Whereas previous MAP-based approaches to this problem lead to highly non-convex optimization algorithms, our approach computes the joint (space-latent) MAP that naturally leads to alternate optimization algorithms and to the use of a stochastic encoder to accelerate computations. The resulting technique (JPMAP) performs Joint Posterior Maximization using an Autoencoding Prior. We show theoretical and experimental evidence that the proposed objective function is quite close to bi-convex. Indeed it satisfies a weak bi-convexity property which is sufficient to guarantee that our optimization scheme converges to a stationary point. We also highlight the importance of correctly training the VAE using a denoising criterion, in order to ensure that the encoder generalizes well to out-of-distribution images, without affecting the quality of the generative model. This simple modification is key to providing robustness to the whole procedure. Finally we show how our joint MAP methodology relates to more common MAP approaches, and we propose a continuation scheme that makes use of our JPMAP algorithm to provide more robust MAP estimates. Experimental results also show the higher quality of the solutions obtained by our JPMAP approach with respect to other non-convex MAP approaches which more often get stuck in spurious local optima.Comment: arXiv admin note: text overlap with arXiv:1911.0637

Fast Diffusion EM: a diffusion model for blind inverse problems with application to deconvolution

Using diffusion models to solve inverse problems is a growing field of research. Current methods assume the degradation to be known and provide impressive results in terms of restoration quality and diversity. In this work, we leverage the efficiency of those models to jointly estimate the restored image and unknown parameters of the degradation model. In particular, we designed an algorithm based on the well-known Expectation-Minimization (EM) estimation method and diffusion models. Our method alternates between approximating the expected log-likelihood of the inverse problem using samples drawn from a diffusion model and a maximization step to estimate unknown model parameters. For the maximization step, we also introduce a novel blur kernel regularization based on a Plug \& Play denoiser. Diffusion models are long to run, thus we provide a fast version of our algorithm. Extensive experiments on blind image deblurring demonstrate the effectiveness of our method when compared to other state-of-the-art approaches

Meaningful Matches in Stereovision

This paper introduces a statistical method to decide whether two blocks in a pair of of images match reliably. The method ensures that the selected block matches are unlikely to have occurred "just by chance." The new approach is based on the definition of a simple but faithful statistical "background model" for image blocks learned from the image itself. A theorem guarantees that under this model not more than a fixed number of wrong matches occurs (on average) for the whole image. This fixed number (the number of false alarms) is the only method parameter. Furthermore, the number of false alarms associated with each match measures its reliability. This "a contrario" block-matching method, however, cannot rule out false matches due to the presence of periodic objects in the images. But it is successfully complemented by a parameterless "self-similarity threshold." Experimental evidence shows that the proposed method also detects occlusions and incoherent motions due to vehicles and pedestrians in non simultaneous stereo.Comment: IEEE Transactions on Pattern Analysis and Machine Intelligence 99, Preprints (2011) 1-1

Estudio morfológico predictivo mediante microTomografia Computarizada del hueso y biomateriales implantados en un modelo animal.

Las técnicas de imagen y particularmente la microtomografia computarizada (microTC) están contribuyendo a la investigación científica, no solo en el campo medico asistencial y experimental, sino en campos como la geología, la industria, la arquitectura y la historia del arte. La tomografía computarizada (TC) ofrece el mejor método radiográfico para el análisis morfológico y cualitativo de huesos y estructuras sólidas. La TC se basa en la medición del coeficiente de atenuación del haz de rayos X al atravesar cada sección o voxel del material a estudiar, obteniendo unos datos crudos (Raw Data) o datos sin procesar, que tras su procesamiento mediante programas de reconstrucción filtrada o iterativa se obtiene una imagen pixelada que puede ser interpretada por el especialista. Se intenta, como hipótesis de trabajo, demostrar la utilidad del microTC en el estudio de la evolución biológica de un biomaterial implantado en la tuberosidad tibial anterior de 15 conejos como modelo preclínico. El biomaterial implantado, fosfato tricálcico sintetizado previamente (Ca3(PO4)2) [TCP] y silicato dicálcico (Ca2SiO4) [C2S] se utilizaron como materias primas. El 60% de los andamios (dopados) sumergido en un gel de matriz ósea desmineralizada (gel de DBM) y el 40% restante de los gránulos no se trataron (no dopados). Los animales fueron asignados aleatoriamente en tres grupos (n = 5 cada uno) en correspondencia con tres períodos de estudio definidos (1, 3 y 5 meses), respectivamente. El objetivo del estudio es hacer un análisis comparativo de las imágenes del microTC con un análisis estadístico descriptivo y un análisis matemático de los datos brutos. Y todo ello con un posterior análisis histomorfométrico para dilucidar objetivamente el comportamiento osteogénico observado después de la siembra de andamios de biomateriales porosos en las tibias. A las quince muestras obtenidas tras el sacrificio de los animales y a dos muestras de biomaterial sin implantar se les realizo estudio con microTC. Todas las imágenes fueron descritas previamente por dos radiólogos experimentados basados en un análisis visual doble ciego que se centró en los siguientes ítems: (1) pérdida de homogeneidad del material implantado con respecto al preimplantado; (2) pérdida de nitidez del contorno del implante en relación con el tejido periférico; (3) presencia de trabeculaciones óseas neoformadas dentro del biomaterial implantado; (4) dispersión de biomaterial en el tejido periférico; (5) trabeculaciones neoformadas entre la superficie del implante y el hueso cortical adyacente. Para procesar matematicamente los datos crudos obtenidos del microTC se seleccionaron tres regiones de interés (ROI): (1) ROI cilíndrico de 4x4 mm para evaluar la reabsorción, degradación o integración del biomaterial implantado; (2) ROI cúbico de 10x10x10 mm que incluía el biomaterial y el tejido óseo adyacente y que permitía evaluar la dispersión experimentada por fragmentos de biomateriales dentro del hueso huésped periférico; (3) ROI cilíndrico de 3x3 mm localizado en la cortical alejada del injerto para determinar la evolución espontánea del hueso cortical inalterado, como medida de control y criterio de análisis. Este tratamiento matemático (análisis de regresión lineal y estudio de coordenadas cilíndricas) permite analizar la evolución temporal de los coeficientes de atenuación estandarizados en unidades Hounsfield (UH) de cada uno de los voxel estudiados del biomaterial y del hueso huésped. Para el estudio histológico e histomorfometrico las muestras se seccionaron perpendicularmente al eje longitudinal de la tibia con una sierra circular eléctrica. Se fijaron trozos de 3-4 mm de espesor en formalina y posteriormente fueron descalcificadas. El análisis histológico e histomorfométrico se realizó en secciones teñidas con hematoxilina-eosina de 4 μm de grosor. Se calculó la superficie total del área implantada (TIS) y se analizaron 4 componentes identificables: (1) material implantado no absorbido, (2) tejido óseo neoformado, (3) tejido conectivo y (4) material harinoso y basófilo, ubicado entre los componentes 1 y 2, denominado 'material no identificable'. Del análisis visual de las imágenes del microTC a los 1, 3 y 5 meses de la cirugía se observó una desintegración y desorganización progresiva de la morfología inicial del implante, más evidente y temprana en la periferia que en la porción central (desde un bloque cilíndrico compacto hasta una masa porosa y fragmentada), así como neoformación de tejido óseo. También se apreció una dispersión o fragmentación del andamio permitiendo la neoformación del hueso trabecular tanto dentro del material implantado como a su alrededor y en contacto con la cortical huésped. El análisis estadístico descriptivo de las imágenes de micro-TC no pudo distinguir las diferencias entre el comportamiento de los implantes dopados y los no dopados durante el período de estudio. Solo el estudio matemático de los Data Raw pudo detectar diferencias significativas en los valores promedio de UH del andamio entre ambos tipos de materiales. Los andamios pre-implantados mostraron un coeficiente de atenuación promedio de 1.13 ± 0.18 HU, después de 3 meses de la cirugía, el coeficiente de atenuación disminuyó a valores promedio de 0.99 ± 0.23 HU (andamios dopados) y 0.86 ± 0.25 HU (andamios no dopados). Los coeficientes de atenuación a 5 meses alcanzaron valores mínimos de 0,86 ± 0,32 HU (andamios dopados) y 0,66 ± 0,33 HU (andamios no dopados). Como puede deducirse de estos resultados, los implantes dopados mostraron una disminución más gradual de los valores promedio de HU que los implantes no dopados. También se demostró con el estudio de los Data Raw que existía una dispersión de los granos de cerámica y que no existieron cambios estadísticos significativos en el hueso cortical tibial normal. Solo el análisis matemático de los Raw Data pudo detectar diferencias significativas en los valores promedio de HU de andamio en el estudio entre ambos tipos de materiales. Resultando una disminución más gradual de UH en los materiales que no dopados. El presente estudio muestra la necesidad de combinar los estudios de imágenes radiológicas y el análisis matemático de los Raw Data para realizar un adecuado análisis in vivo del andamiaje óseo implantado y su evolución. Como los resultados obtenidos parecen ser similares a los anatomopatológicos, el análisis matemático de los datos brutos de TC permitiría llevar a cabo estudios in vivo de larga duración sin necesidad de sacrificio de animales.Medicin